AutoDataBench: A Data-centric Testbed for Accelerating Auto Research
AutoDataBench：加速自动研究的数据中心测试平台
🧭 评估Agent数据智能能力
The Hong Kong Polytechnic University · IQuest Research · Shanghai Jiaotong University · TU Darmstadt · The University of Manchester
构建受控测试床隔离数据智能，评估LLM改进训练数据的能力及数据效应推理，并将轨迹复用于mid-training
📌 工作参考价值（4 点）
- 将数据诊断、数据组织、数据构建三阶段框架用于电商推荐数据飞轮：固定模型与超参，单独度量数据改动的增益，避免归因混淆。
- 借鉴迭代实验设置：在资源预算约束下让LLM自动做特征筛选、样本去噪、知识注入（如商品属性补全），可降低人工数据工程成本。
- 引入“训练前预测 vs 训练后结果”对比审计LLM的数据理解能力，识别Agent是否只是试错而非真正推理数据效应，可用于内部Agent评估。
- 收集Agent的数据干预轨迹用于mid-training，提升下游任务性能，说明高质量数据操作过程本身可作为合成数据，适合电商场景的持续预训练或指令微调。